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摘 要 : 为 进一步 提高 现 有 实时 幸运 成 像 系 统 的 实时 性 ， 针 对 第 二 代 通 用 串 行 总 线 
( USB2.0 ) 接口 的 电子 倍增 电荷 砚 合 ( EMCCD ) 相机 进行 幸运 成 像 观测 的 情况 ， 本 文 提 
出 了 一 个 基于 USB2.0 总 线 数据 侦 听 的 实时 幸运 成 像 技术 方案 ,进行 了 侦 听 电 路 的 硬件 设计 
和 数字 逻辑 设计 ,搭建 了 一 个 具有 实时 侦 听 、 传 输 、 处 理 、 动 态 更 新 和 显示 的 幸运 成 像 系统 
当 相 机 拍摄 天 文 图 像 并 与 PC 机 进行 数据 交互 时 ,本 系统 的 USB2.0 总 线 数据 侦 听 子 系统 就 
会 对 交互 的 USB2.0 总 线 实现 无 侵入 式 的 侦 听 , 并且 加 以 分 析 处 理 后 ,只 将 有 效 的 天 文 图 像 
数据 发 送 给 底层 现场 可 编程 逻辑 阵列 ( FPGA ) 开发 板 中 的 幸运 成 像 子 系统 ， 然 后 幸运 成 像 
子 系统 就 会 对 接收 到 的 数据 进行 预 处 理 、 动 态 选 图 、 实 时 配 准 和 又 加 处 理 ， 最 后 使 用 9 个 
可 调 阐 值 二 值 化 高 分 辨 率 图 像 并 将 这 些 图 像 输 出 到 显示 器 上 。 实验 结果 表明 ,所 实现 的 系统 
能 够 对 在 USB2.0 总 线 上 连续 传输 的 10000 帧 512x512 像素 的 图 像 进行 实时 侦 听 、 幸 运 成 
像 和 动态 更 新 显示 ， 实 现 了 幸运 成 像 技术 的 实时 化 。 
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幸运 成 像 是 一 种 高 分 辩 率 天 文 图 像 恢 复 技 术 鼎 。 基 于 中 央 处 理 器 〈Central Processing 
Unit, CPU) 的 幸运 成 像 技 术 由 于 CPU 串 行 处 理 的 原因 ， 所 构建 的 幸运 成 像 系 统 运行 时 
间 较 长 ， 为 一 种 事后 处 理 技术 。 近 年 来 ， 具 有 强大 并 行 处 理 能 力 的 现场 可 编程 逻辑 阵列 

(Field Programmable Gate Array, FPGA ) 器 件 作为 硬件 加 速 器 引入 图 像 处 理 领域 去 实现 
可 重 构 计算 中。 FSCS URE He BO PAM ar eae Electron Multiplying 
Charge-Coupled Devices, EMCCD) 相机 ， 这 是 一 种 高 速 低 品 声 的 科学 级 相机 中 。 

Oscoz 和 Piqueras 所 在 的 团队 在 FastCam 项 目 研究 过 程 中 , 首次 将 幸运 成 像 技术 在 FPGA 
硬件 上 实现 , 并 获得 了 实时 的 高 分 辨 率 图 像 上 1。FastCam 中 图 像 数据 通过 以 太 网 进行 传输 。 
赵 盼 孜 采 用 Xilinx 经 济 型 的 中 小 规模 的 Spantan-6 系列 FPGA 及 其 开发 板 ， 构 建 了 一 个 基于 
ESAE: HAARE (11673009) 资助 . 
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为 一 个 基于 以 太 网 网 口 数据 传输 的 实时 动态 幸运 成 像 系统 。 该 系统 由 


EMCCD 相机 将 短 曝 


光 的 天 文 图 像 用 第 二 代 通 用 串 行 总 线 (Universal Serial Bus 2.0, USB2.0) 传 入 个 人 计算 机 
(Personal Computer, PC) 存储 ， 然 后 通过 特定 数据 转发 程序 让 PC 机 读 入 FITS 格式 的 天 


文 图 像 ， 通 过 以 太 网 接口 将 图 像 数据 不 断 的 发 送 给 FPGA H 


上 述 已 有 的 幸运 成 像 系 统 的 实时 处 理 ， 


F 发 板 去 进行 柱 运 成 像 处 理 。 
由 于 存在 一 个 图 像 存储 和 转发 的 过 程 , 实时 性 还 
有 待 进一步 提高 。 如 果 将 EMCCD 相机 拍摄 的 有 效 图 像 数据 ， 不 通过 存储 和 转发 的 过 程 ， 

直接 传 入 FPGA 系统 进行 幸运 成 像 处 理 ， 便 可 以 大 大 改善 系统 的 实时 性 。 
响 到 原 有 数据 通路 的 情况 下 通过 实时 侦 听 的 方法 , 使 得 总 线 仍 可 以 保持 数据 的 正常 传输 , 并 


因此 可 以 在 不 影 


把 侦 听 到 的 数据 加 以 分 析 处 理 ， 将 处 理 后 的 数据 实时 传 给 素 运 成 像 系统 进行 后 续 处 理 。 


EMCCD 相机 图 像 接 口 有 多 种 类 型 ， 


线 的 数据 。 


常见 的 是 USB2.0， 


因此 本 项 目 组 采用 
传输 接口 。 同 时 由 于 本 项 目 组 基于 FPGA 的 幸运 成 像 技术 比较 成 熟 ， 所 以 现在 问题 的 关键 
在 于 如 何 设计 一 个 基于 USB2.0 总 线 数据 侦 听 系统 ， 用 于 


USB2.0 作为 数据 


侦 听 EMCCD 相机 和 PC 机 之 间 总 


现 有 基于 USB 总 线 数据 侦 听 方面 的 研究 ,主要 集中 在 USB 协议 分 析 及 其 应 用 方面 ， 如 


USB 协议 分 析 仪 ， 其 它 方面 的 研究 相对 较 少 。 
据 并 将 其 发 送 至 PC 机 后 采用 相应 的 分 析 软 名 


H USB 协议 分 析 仪 是 侦 听 USB 总 线 上 的 数 
进行 分 析 。 孙 博 呈 在 其 论文 中 提出 了 一 种 基于 


FPGA 的 USB 数据 监听 技术 ， 该 设计 直接 将 数据 传 入 到 PC 机 ， 类 似 于 协议 分 析 仪 ， 且 论文 
中 没有 详细 介绍 硬件 逻辑 设计 的 过 程 。 周 佳 立 等 人 号 论述 了 一 种 监听 相机 与 机 身 SD 卡 之 间 


的 数据 流 的 技术 。USB 协议 分 析 仪 、 孙 博 以 及 周 佳 立 所 使 月 


的 启示 作用 ， 但 都 不 适用 了 


的 方法 ， 虽 然 其 便 件 模块 都 验证 正确 但 系统 工作 不 稳定 。 


因此 本 文 提出 ] 


的 侦 听 方法 ， 对 本 项 目 有 一 定 
本 项 目 。 段 晨 昊 09 提 出 了 对 某 一 特定 方向 传输 的 数据 进行 监听 


个 基于 USB2.0 总 线 数 据 侦 听 的 实时 幸运 成 像 系 统 的 设计 和 实现 方案 ， 


设计 并 制作 了 一 个 USB2.0 总 线 数 据 侦 听 电 路 ， 用 FPGA 实现 对 USB 数据 包 的 分 析 ， 在 基 
于 以 太 网 数据 传输 的 实时 动态 幸运 成 像 系 统 的 基础 上 ， 搭 建 了 一 个 具有 实时 侦 听 、 传 输 、 处 


1 ”系统 的 设计 与 实现 技术 


理 、 动 态 更 新 和 显示 的 幸运 成 像 系统 ， 通 过 实验 验证 了 系统 的 性 


ab 
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本 实验 室 幸运 成 像 系统 的 硬件 实现 平台 是 以 Xilinx 公司 Spartan-6 系列 的 XC6SLX16 it 


片 为 核心 的 开发 板 。 该 系统 不 仅 成 本 低 , 而 


所 以 需要 设计 制作 一 个 USB2.0 总 线 数 据 侦 


1.1 系统 的 总 体 设 计 框 图 


运行 稳定 。 由 于 该 开发 板 不 具备 实现 侦 听 功能 ， 


听 系 统 ， 将 其 通过 40 引 脚 的 IO(nput/Output, 输 
入 /输出 ) 扩 展 口 〈 排 针 ) 与 这 块 FPGA 开发 板 相 连接 ， 从 而 实现 对 EMCCD 相机 短 曝光 图 像 
的 实时 数据 进行 侦 听 和 幸运 成 像 。 设 计 开发 环境 是 ISE Design Suite 14.7 和 Altium Designer 
10.0， 采 用 ChipScope pro 14.7 和 ModelSim SE 10.5 进行 硬件 设计 的 验证 与 调试 。 


系统 设计 的 总 体 要 求 是 在 不 影响 EMCCD 相机 与 PC 机 图 像 采集 与 控制 的 前 提 下 , 通过 


侦 听 EMCCD 相机 的 图 像 数 据 ， 进 行 实时 幸运 成 


侵入 式 USB 总 线 数据 侦 听 和 分 析 电 路 ， 而 ] 


需要 有 后 端的 实时 


要 求 ， 本 文 所 提出 的 新 的 实时 幸运 成 像 系统 ， 如 图 1 所 示 。。 


象 。 所 以 ， 整 个 系统 不 仅 需 要 有 前 端的 无 


和 运 成 像 电 路 或 系统 。 按 此 
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图 1 USB2.0 总 线 数据 侦 听 实时 幸运 成 像 系 统 的 总 体 框图 
Fig. 1 The overall block diagram of USB2.0 bus data listening real-time lucky imaging system 


该 系统 采用 USB2.0 总 线 数 据 侦 听 的 方式 ， 将 EMCCD 相机 与 PC 机 之 间 进 行 传输 的 数 


据 通 过 专 
只 将 有 效 
的 预 处 理 、 


动态 选 图 


、 实 时 配 准 和 车 加 处 理 , 然后 


] USB2.0 总 线 数据 侦 听 系统 对 总 线 实现 无 
的 天 文 图 像 数据 发 送 给 底板 〈 即 FPGA F 


发 板 )。 底 板 上 的 幸运 成 像 系 统 进行 区 
采用 9 个 实时 分 割 闵 值 水 平 切割 高 分 辩 率 


ZARAITZ OUT 再 加 以 分 析 处 理 后 ， 


Z] 


像 


图 像 ， 最 后 对 二 值 图 像 进行 动态 更 


新 和 显示 。 系 统 的 工作 流程 可 简 述 如 下 : 


(1) USB 接口 芯片 模块 开始 连续 提取 EMCCD 相机 与 PC 机 相连 的 总 线 上 的 差分 信号 ,将 其 
还 原 成 为 电 平 信和 号， 并 进一步 转换 成 并 行 数据 送 入 ULPI (UTMI(USB2.0 Transceiver 


Macrocell Interface) Low Pin Interface, U 


SB2.0 收发 宏 单元 的 低 引 脚 数 接 


) 接口 模块 。 


(2) ULPI 接口 模块 与 USB 接口 芯片 模块 建立 协议 层 的 联系 , 并 把 数据 完整 输出 给 包 解 析 模 
块 。 

(3) 包 解 析 模 块 将 数据 包 分 解 并 缓存 ， 进 入 事务 组 合 模块 。 

(4) 事务 组 合 模块 将 儿 个 相关 联 的 令 牌 包 、 数据 包 、 握手 包 经 过 包 解 析 模 块 分 解 后 的 数据 组 
合成 一 个 USB 事务 ， 送 往 传输 模块 。 

(5) 传输 模块 对 USB 事务 中 的 数据 进行 分 析 , 并 根据 天 文 图 像 特征 , 只 选 出 天 文 图 像 数 据 ， 
将 选 出 的 天 文 图 像 数 据 通过 IO 扩展 口 以 8 位 并 行 总 线 的 方式 传 入 本 系统 的 底板 IO 扩展 口 


接收 模块 。 
(6) 底板 的 IO 扩 


展 口 接收 模块 ; 
(7) 幸运 成 像 系 统 将 接收 到 的 图 像 数据 送 入 图 


BUH 


和 数据 传 入 幸运 成 像 系 统 。 


除 。 其 后 将 预 处 理 完 毕 的 数据 送 入 幸运 成 像 算法 处 理 模 块 。 


(8) 幸运 成 像 算 法 处 理 模 块 包括 DDR3 (Double- 
入 三代 双 倍数 据 率 同 步 动 


Random Access Memory, 4 
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9) 多 阔 值 二 值 化 模块 ， 以 增强 
Array， 视 频 图 形 阵 列 ) 控 制 模块 ， 产 生 控 人 


模块 ,进行 高 斯 滤波 和 宇宙 射线 的 史 


Data-Rate Three Synchronous Dynamic 
态 随机 存 取 存 储 器 ) 存储 控制 模块 、 选 


算法 模块 、 配 准 算 法 模块 和 奴 加 算法 模块 : 用 于 对 预 处 理 
处 理 。 然 后 将 图 像 数 据 分 成 两 路 : 一 路 经 干 兆 以 太 网 发 送 模块 回 传 到 PC 机 


电路 ， 将 高 分 辨 率 图 


接口 


像 在 VGA 显示 器 上 显示 。 


完成 后 的 图 像 数据 进行 存储 、 选 


目标 区 域 的 可 视 性 ， 然 后 将 结果 传 给 VGA(Video Graphics 
剖 信 号 ， 控 制 VGA 驱动 显示 模块 驱动 FPGA 片 外 


以 上 流程 中 第 〈1) 至 (5) 步 是 USB2.0 总 线 数据 侦 听 系统 ， 用 于 数据 侦 听 ， 并 将 有 效 
的 天 文 图 像 数据 发 送 给 底板 。 第 (6) 至 (9) 步 是 底板 系统 ， 其 中 第 (6) 步 是 两 个 系统 间 
的 连接 步骤 。 第 (7) 至 (8) 步 是 幸运 成 像 系统 中 数据 处 理 的 过 程 。 第 (9) 步 是 用 于 结果 图 
像 的 视觉 增强 和 显示 。 

本 系统 会 实时 侦 听 分 析 处 理 EMCCD 相机 与 PC 机 相连 的 总 线 上 的 数据 。 在 天 文 图 像 数 
据 不 断 地 由 EMCCD 相机 传输 到 PC 机 的 过 程 中 ，VGA 显示 器 上 就 会 实时 动态 更 新 和 显示 
高 分 辩 率 图 像 。 并 且 因 为 FPGA 的 特性 ， 数 据 处 理 方式 全 部 是 并 行进 行 的 ， 也 就 是 上 述 步 
又 全 部 是 同时 工作 的 。 所 以 处 理 速度 是 非常 快 的 ， 满 足 了 实时 性 的 要 求 。 

从 上 述 流程 中 可 以 看 出 ， 本 系统 与 本 实验 室 基于 以 太 网 数据 传输 的 FPGA 幸运 成 像 系 
统 5 最 大 的 不 同 之 处 在 于 设计 了 一 个 USB2.0 总 线 数据 侦 听 系统 。 另 外 为 了 将 USB2.0 总 线 
数据 侦 听 系统 与 本 实验 室 FPGA 幸运 成 像 系统 完美 的 连接 ， 需 要 对 本 实验 室 基于 FPGA 的 
幸运 成 像 系统 稍 作 修改 。 以 下 将 着 重 介绍 USB2.0 总 线 数据 侦 听 系统 的 设计 过 程 ， 以 及 基于 
新 的 数据 传输 接口 对 于 原 FPGA 幸运 成 像 系统 的 修改 过 程 。 


1.2 USB2. 0 总 线 数据 侦 听 系统 的 设计 及 验证 


因为 USB2.0 总 线 数据 侦 听 系统 需要 对 侦 听 到 的 全 部 数据 加 以 分 析 ， 所 以 需要 从 USB 
数据 包 中 选 出 有 效 的 天 文 图 像 数据 , 删除 无 效 信 息 ， 只 将 有 效 的 天 文 图 像 数据 传 入 底板 系统 
中 。 这 个 过 程 的 实现 需要 设计 侦 听 电路 、 数 据 分 析 与 处 理 电路 以 及 数据 收发 接口 电路 等 。 绪 
合 USB2.0 总 线 的 数据 传输 特点 以 及 FPGA 开发 板 〈 底 板 ) 的 排 针 接口 要 求 ， 我 们 设计 了 如 
图 2 所 示 的 侦 听 系统 。 
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图 2 USB2.0 总 线 数 据 侦 听 系统 的 总 体 设 计 
Fig. 2 The overall design of USB2.0 bus data listening System 

图 2 中 ， 主 设备 是 EMCCD 相机 的 成 像 控 制 与 图 像 采集 工作 站 或 个 人 计算 机 ， 从 设备 
是 EMCCD 相机 ， 主 从 设备 之 间 是 USB2.0 总 线 及 连接 头 。 从 A、B 两 个 USB 接口 总 线 中 
间 直 接 引 出 信号 线 到 USB2.0 接口 忆 片 ， 从 而 侦 听 主 从 设备 之 间 传 输 的 数据 。 对 USB 接口 
蕊 片 的 控制 、 侦 听 数 据 的 解 包 和 分 析 以 及 图 像 数 据 下 传 等 任务 ， 由 一 块 小 规模 的 FPGA tS 
片 来 完成 。 所 以 ， 侦 听 系 统 的 关键 就 是 硬件 电路 的 设计 和 FPGA 逻辑 设计 ， 这 也 是 本 文 的 
重点 内 容 。 


1.2.1 硬件 设计 

硬件 上 采用 高 集成 度 的 芯片 ， 尽 量 减 少 元 器 件 使 用 数量 ， 以 及 尽量 减 小 硬件 尺寸 。 根 据 
上 述 要 求 设计 了 如 图 3 所 示 的 硬件 总 体 架 构 。 该 系统 架构 主体 由 USB 接口 模块 、FPGA 模 
块 、 电 源 模块 三 个 部 分 组 成 ， 下 面 分 别 加 以 介绍 。 
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图 3 USB2.0 总 线 数据 侦 听 系统 硬件 总 体 架 构 
Fig. 3 The overall hardware architecture of USB2.0 bus data listening System 

设计 在 不 干扰 原 有 USB 主 从 设备 间 数 据 流 的 情况 下 , 直接 从 主 从 设备 的 USB 总 线 上 无 
侵入 式 连接 USB 接口 芯片 。USB 接口 芯片 与 FPGA 芯片 连接 线 为 双向 信号 ，FPGA 芯片 通 
过 IO 扩展 口 卡 槽 与 底板 连接 ， 并 且 IO 扩展 口 卡 槽 可 拆卸 ， 连 接 不 同 底板 。 

(1) USB 接口 模块 

USB 接口 芯片 使 用 了 USB3300 心 片 ， 用 于 非 侵 入 式 获 取 主 从 设备 之 间 的 信号 。 该 忆 片 
通过 ULPI 接口 连接 至 FPGA, ULPI 接口 信号 电 平 为 3.3V, 工作 于 高 速 480Mbps 速度 模式 ， 
并 且 芯 片 使 用 24MHz 晶体 提供 时 钟 。 其 中 USB3300 芯片 在 本 设计 中 的 功能 是 : @ USB 总 
线 上 时 钟 和 数据 的 分 离 及 提取 ; @ 同步 序列 SOP, EOP 信号 的 检测 ，@) 数据 流 的 NRZI 
解码 ， 填充 位 的 剔除 ，@) PAR: © 填充 位 错误 和 EOP 错误 的 检测 。 

该 模块 配备 了 两 个 不 同 的 USB 接口 ，USB 接口 A 为 方 口 母 座 ， 用 于 连接 主 设备 ，USB 
接口 B 为 扁 口 母 座 ， 用 于 连接 从 设备 。 将 两 个 接口 的 USB 总线 中 间 引 线 ， 从 差分 对 上 拉 出 
两 根 线 ， 提 取 其 中 的 信号 。 该 差分 信号 通过 USB 接口 芯片 接收 之 后 ， 将 还 原 成 电 平 信号 ， 
并 进一步 转换 成 并 行 数 据 送 入 FPGA。 

(2) FPGA 模块 

本 系统 主 控 艺 片 也 是 采用 Xilin FPGA 芯片 Spartan-6 系列 ， 芯 片 为 
XC6SLX9-2TQG144C。 配 置 芯片 为 W25Q80， 用 于 存储 FPGA 配置 数据 流 。 世 片 使 用 USB 
接口 芯片 输出 的 60MHz 时 钟 作 为 模块 的 系统 时 钟 。 搭 配 有 事务 指示 灯 ， 每 当 输出 一 次 有 效 
事务 LED 信号 灯亮 一 次 。40 引 脚 的 IO 扩展 口 是 USB2.0 总 线 数 据 侦 听 系 统 和 底板 系统 数据 
传输 的 通道 。 
FPGA 芯片 是 整个 系统 的 核心 , 主要 负责 各 芯片 的 初始 化 参数 配置 , 并 具有 协调 、 调 动 、 
存储 和 读 取 等 功能 ， 起 到 处 理 器 的 作用 。 其 中 内 部 逻辑 电路 对 数据 包 做 分 析 、 处 理 ， 最 后 解 
包 整 合 后 的 主 从 设备 传输 数据 通过 8 位 并 行 总 线 从 IO 扩展 口 输出 给 底板 。 

(3) 电源 模块 
电源 由 底板 通过 IO 扩展 口 引 脚 提供 SV 电压 ， 使 用 2 路 低压 降 线性 电源 芯片 AMS1117 


Transaction 
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分 别 产生 3.3V、1.2V 电压 供 USB3300、FPGA 等 芯片 使 用 。 搭 配 有 电源 指示 灯 ， 接 通电 源 
后 红色 指示 灯 被 点 亮 。 


1.2.2 FPGA 逻辑 设计 

由 上 述 侦 听 电路 获得 的 是 USB2.0 总 线 上 传输 的 一 个 个 数据 包 。 按 USB2.0 协议 中 ,一 
个 数据 包 包 含有 很 多 字段 , 但 本 系统 要 求 获得 的 是 有 效 的 图 像 数 据 。 所 以 , 侦 听 电路 还 需要 
对 所 获得 的 数据 包 进 行 分 析 ， 提 取 有 效 数据 。 在 USB2.0 协议 已 中 ， 一 次 正常 的 事务 传输 既 
有 令 牌 信息 包 、 数 据 信息 包 和 握手 信息 包 ， 还 有 忙 时 或 者 出 错时 的 事务 传输 。 所 以 我 们 需要 
把 每 一 次 事务 的 数据 信息 包 中 的 数据 字段 和 这 次 事务 中 的 非 数 据 字 段 (包括 一 次 事务 中 数据 
包 的 除数 据 字 段 外 的 字段 和 其 他 包 的 字段 ) 分 开 。 将 非 数据 字段 组 合成 一 个 信息 头 ， 便 于 分 
析 是 什么 事务 ， 然 后 根据 事务 信息 头 得 选 所 需 图 像 数 据 。 由 此 设计 了 FPGA 逻辑 设计 模块 ， 
包括 ULPI 接口 模块 、 包 解析 模块 、 事 务 组 合 模块 、 传 输 模 块 、 时 钟 模块 。 下 面 将 分 别 介 绍 
FPGA 内 部 逻辑 设计 的 各 个 模块 。 

(1) ULPI 接口 模块 

ULPI 接口 模块 为 ULPI i WO", USB 接口 芯片 模块 建立 协议 层 的 联系 ， 
并 把 数据 完整 输出 给 下 一 模块 。 

本 模块 首先 用 硬件 描述 语言 设计 了 一 个 数据 选择 器 和 三 态 输出 缓冲 器 的 联通 电路 以 实 
现 USB 接口 芯片 模块 与 FPGA 数据 的 双向 导 通 ， 然 后 再 设计 协议 层 的 联系 。 仿 真 图 如 图 4 
所 示 ， 其 中 ulpi_dir 为 USB 接口 芯片 用 于 控制 总 线 传输 方向 的 信号 ，ulpi_nxt 为 USB 接 
芯片 在 传输 数据 时 的 控制 信号 , ulpi_dir 为 FPGA 芯片 通知 USB 接口 芯片 传输 停止 的 控制 信 


“Jo 


图 4 ULPI 接口 模块 仿真 图 


Fig. 4 Simulation diagram of ULPI PHY 
从 图 4 可 以 看 出 ， 当 ulpi_dir 和 ulpi_nxt 同时 为 低 电 平时 ， 本 模块 在 数据 总 线 上 驱动 传 
输 命令 字 节 (Transmit External Data Command, TXD CMD )， 然 后 在 ulpi_dir 持续 为 低 电 平 
时 等 待 ulpi_nxt 为 高 电 平 。 当 USB 接口 芯片 接收 到 TXD CMD 时 驱动 ulpi_nxt 为 高 电 平 ， 
本 模块 将 把 寄存 器 数据 写 入 USB 接口 世 片 寄存 器 中 。USB 接口 蕊 片 接收 到 数据 后 ， 本 模块 
将 驱动 ulpi_stp 为 高 电 平 。 当 ulpi_dir 为 高 电 平 并 且 ulpi_nxt 为 低 电 平时 ， 本 模块 将 接收 并 
分 析 从 USB 接口 艺 片 传输 过 来 的 接收 命令 字 节 CReceive External Data Command, RXD 
CMD)。 当 ulpi_dir 和 ulpi_nxt 同时 为 高 电 平时 ， 本 模块 将 接收 USB 接口 芯片 传 入 的 数据 ， 
然后 将 其 完整 输出 给 包 解 析 模块 。 
另外 ， 从 图 4 也 可 以 得 出 ，FPGA 芯片 识别 出 了 RXD CMD， 得 出 了 正确 的 rx_valid， 
rx_error, rx_active 信号 。 实 现 了 USB 接口 芯片 模块 与 FPGA 数据 的 双向 导 通 ， 并 得 到 了 正 
确 的 USB 总 线 上 的 传输 数据 uulpi_data。 
(2) 包 解 析 模 块 
根据 USB2.0 协议 上 ， 一 次 事务 中 只 有 一 个 数据 包 ， 且 只 有 数据 包 中 含有 数据 字段 。 除 
去 数据 包 中 的 第 一 个 8 位 数据 和 最 后 两 个 8 位 数据 , 剩 下 的 束 是 数据 字段 。 据 此 设计 了 包 解 
析 模 块 。 
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包 解 析 模 块 包含 包 分 解 模块 和 存储 模块 。 如 图 5 虚线 框 所 示 ， 其 中 包 分 解 模块 的 功能 是 
将 ULPI 接口 模块 传递 过 来 的 并 行 数据 根据 USB2.0 协议 5 分 析 并 分 解 成 数据 字段 和 非 数据 
字段 ， 存储 模块 的 功能 是 将 分 解 后 的 数据 字段 和 非 数据 字段 分 别 存 入 随机 存 取 存储 器 
(Random Access Memory, RAM) 和 FIFO (First Input First Output， 指 先进 先 出 存储 器 ) 中 ， 
并 与 事务 组 合 模块 进行 交互 。 
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图 5 FPGA 芯片 内 处 理 数据 的 主要 模块 


Fig. 5 The main module of processing data in FPGA chip 
(3) 事务 组 合 模块 
本 次 事务 的 所 有 数据 经 过 包 解 析 模 块 存 入 RAM 和 FIFO 中 之 后 ， 进 入 事务 组 合 模块 。 
该 模块 首先 读 取 FIFO 中 的 数据 以 便于 接 下 来 处 理 ， 然 后 将 数据 中 的 本 次 事务 儿 个 包 的 包 标 
识 符 根据 USB2.0 协议 9 分析 组 合成 一 个 相对 应 的 事务 标识 符 数据 。 接 下 来 将 这 些 数据 组 合 
成 一 个 4 字 节 的 事务 信息 头 , 同 时 从 RAM 中 依次 读 出 相对 应 的 本 次 事务 数据 包 的 数据 字段 。 
最 后 将 事务 信息 头 和 从 RAM 中 读 出 的 数据 组 合成 一 个 事务 包 。 其 中 事务 信息 头 包 含 事务 对 
应 的 标识 符 、 设 备 地 址 、 端 点 号 和 数据 包 的 数据 字段 的 长 度 〈 也 就 是 事务 的 数据 长 度 )。 
(4) ”传输 模块 
经 过 ChipScope 多 次 抓 取 实 验 , 发 现 天 文 图 像 数 据 都 属于 具有 固定 端点 和 长 度 的 输入 事 
务 。 由 此 可 从 事务 组 合 模块 组 合成 的 事务 包 的 信息 头 中 筛选 出 天 文 图 像 数据 ,， 并 生成 一 个 同 
步 于 向 底板 传输 天 文 图像 数 据 的 有 效 指示 信号 , 通知 底板 数据 的 到 来 , 然后 将 时 钟 模块 生成 
的 时 钟 信 号 、 筛 选 出 的 天 文 图 像 数据 及 其 有 效 指示 信和 号 同步 输出 给 底板 系统 。 
(5) 时 钟 模块 
本 模块 使 用 USB3300 芯片 输出 的 60MHz 作为 输入 时 钟 信号 。 该 模块 的 输出 信号 为 整个 
侦 听 系统 提供 时 钟 并 且 将 同步 于 侦 听 系统 的 时 钟 信号 输出 给 底板 , 使 底板 能 与 侦 听 系统 时 钟 
同步 。 模 块 设计 中 调用 了 FPGA 芯片 内 的 数字 时 钟 管理 器 (digital clock manager, DCM), 
来 调节 输出 时 钟 信号 的 相位 ， 并 去 除 输出 给 底板 时 钟 信号 的 牌 斜 ， 从 而 避免 时 钟 分 配 延 迟 ， 
使 输出 给 底板 的 信号 时 序 达 到 最 佳 。 在 底板 上 用 示波器 采集 的 侦 听 系统 输出 给 底板 的 时 钟 和 
数据 的 波形 如 图 6 所 示 ， 示 波 器 采样 率 为 1GS/s， 黄 色 信 和 号 线 是 系统 输出 的 时 钟 ， 红 色 信 和 号 
线 是 输出 的 数据 。 可 以 看 到 时 钟 周期 约 为 16.6ns 左右 ， 频 率 大 约 为 60MHz。 
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图 6 示波器 采样 


Fig. 6 Oscilloscope sampling 


1.2.3 系统 验证 

为 了 验证 所 提出 的 USB2.0 总 线 数据 侦 听 系统 处 理 速度 能 否 满 足 USB2.0 数据 传输 速度 ， 
本 文 在 ModelSim 仿真 软件 上 对 USB2.0 总 线 数据 侦 听 系统 进行 了 仿真 ， 结 果 如 图 7 所 示 。 
其 中 ， 时 钟 clk 采用 的 是 USB 接口 芯片 输出 给 FPGA 的 工作 时 钟 ， 频 率 为 60MHz， 周 期 为 
16ns。rx_data 和 rx_active 为 输入 数据 和 输入 数据 有 效 指示 信号 , 输入 数据 由 随机 函数 生成 。 
tx_data_out 和 tx_active_out 为 USB2.0 总 线 数 据 侦 听 系统 向 底板 输出 的 数据 和 有 效 指示 信和 号 。 


第 一 个 红色 游标 是 FPGA 完全 接收 了 一 次 事务 的 数据 的 节点 ， 第 二 个 红色 游标 是 USB2.0 总 
线 数据 侦 听 系统 开始 把 这 次 事务 处 理 完 后 的 数据 送 入 底板 的 节点 。 
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图 7 USB2.0 总 线 数据 侦 听 系统 的 仿真 结果 图 

Fig. 7 Simulation result diagram of USB2.0 bus data listening system 
两 个 红色 游标 相距 10 个 周期 (需要 160ns)。 也 就 是 说 USB2.0 总 线 数据 侦 听 系统 只 需 
要 10 个 周期 就 可 以 分 析 处 理 完 数据 并 往 底板 发 送 数 据 ， 充 分 体现 了 设计 中 FPGA 并 行 特 性 
的 应 用 。 这 个 处 理 速 度 不 会 造成 数据 溢出 ， 并 且 此 设计 跟 的 上 USB2.0 数据 传输 的 速度 。 


1.3 幸运 成 像 系统 的 移植 


以 上 设计 的 USB2.0 总 线 数据 侦 听 系统 ， 需 要 与 基于 FPGA 的 幸运 成 像 系统 进行 连接 ， 
才能 构建 完整 的 基于 USB2.0 总 线 数据 侦 听 的 实时 幸运 成 像 系统 。 整 体 的 连接 实物 图 如 图 8 
所 示 , 其 中 物理 上 两 个 FPGA 子 系统 电路 板 的 连接 如 图 8(a) 所 示 ， 上 面 的 小 板 是 我 们 设计 制 
作 的 侦 听 电路 板 ， 下 面 的 稍 大 的 板子 是 以 Spartan-6 系列 的 XC6SLX16 芯片 为 核心 的 FEPGA 
开发 板 ( 即 底板 ), 两 块 电路 板 通 过 40 引 脚 的 IO 扩展 口 卡 模 相 连接 。 但 在 实现 物理 连接 前 ， 
需要 将 原 实时 幸运 成 像 算法 及 其 对 应 的 处 理 模 块 移植 到 新 系统 中 。 由 于 新 旧 两 个 系统 的 差别 
主要 是 在 图 像 数据 的 输入 接口 方面 ， 所 以 移植 的 主要 任务 就 是 修改 原 系统 的 数据 输入 部 分 。 
侈 改 工 作 主 要 是 将 原 FPGA 系统 中 以 太 网 数据 接收 模块 去 除 ， 设 计 了 一 个 基于 IO 扩展 
口 的 数据 接收 模块 。 当 底板 接收 到 USB2.0 总 线 数据 侦 听 系统 传 过 来 的 数据 有 效 指示 信和 号 后 ， 
数据 接收 模块 开始 读 取 8 位 数据 。 该 模块 还 需要 将 接收 到 的 数据 拼接 成 一 个 16 位 的 图 像 像 
素数 据 并 送 入 到 FIFO 中 缓存 ， 以 便 后 续 的 图 像 预 处 理 模块 读 取 图 像 数据 。 此 外 ， 为 了 使 整 
个 系统 完美 的 运行 ， Fat RI USB AA A 10 
扩展 口 提供 的 60MHz 时 钟 信号 ， 相 应 地 ， 需 要 将 部 分 移植 过 来 的 模块 改 成 与 该 时 钟 相配 套 
的 模块 。 

图 8(b) 是 系统 运行 中 实际 拍摄 的 照片 ， 其 中 PC 机 连接 方 口 母 座 ， 存 有 EMCCD 相机 提 
摄 的 天 文 图 像 的 UU 盘 连 接 扁 口 母 座 ， 蓝 色 的 灯亮 证 明 侦 听 系 统 正在 往 底 板 传输 数据 。 


| Lr, 


it 


202103.00109v1 


chinaXiv 


ChinaXiv 合 作 期 刊 


(a) 两 个 子 系统 电路 板 连接 (b) 运行 中 的 系统 


(a) Two subsystem circuit board connections (b) System in operation 
图 8 基于 USB2.0 总 线 数据 侦 听 的 实时 幸运 成 像 系 统 的 实物 连接 图 


Fig. 8 Physical connection diagram of real-time lucky imaging system based on USB2.0 bus data listening 


2 ”实验 结果 及 其 分 析 


为 了 验证 本 文 所 提出 的 系统 的 正确 性 ， 首 先 用 系统 去 侦 听 一 个 CCD 相机 和 PC 机 之 间 
的 信号 ， 并 在 底板 用 ChipScope 软件 抓 取 。 因 为 没有 EMCCD 相机 ， 只 能 使 用 实验 室 现 有 的 
和 EMCCD 相机 传输 基本 相似 的 CCD 相机 ， 型 号 为 QHY90A。 
要 将 完整 的 图 像 数 据 不 多 不 少 的 传 入 底板 , 需要 把 其 他 数据 去 除 , 经 过 ChipScope 多 次 
抓 取 实验 , 发 现 控 制 信号 的 数据 交互 不 属于 输入 事务 , 另外 只 有 图 像 数 据 传 输 属于 固定 端点 
号 的 并 且 数 据 的 大 小 为 512 字 节 的 批量 传输 。 还 发 现 含 有 图 像 数 据 的 事务 传输 是 连续 传 入 的 ， 
并 且 在 其 第 一 个 事务 前 面 有 一 个 固定 的 数据 大 小 为 $ 字 节 的 输入 事务 。 根据 ChipScope 多 次 
抓 取 实验 的 结果 表明 ， 本 实验 可 以 有 两 种 方法 选取 图 像 数 据 : O 在 系统 传输 模块 中 增加 事 
务 信 息 头 中 的 标识 符 、 端 点 号 和 数据 长 度 来 当 作 限制 条 件 ，@) 在 系统 传输 模块 中 判断 是 否 
是 固定 的 数据 大 小 为 5 字 节 的 输入 事务 来 确定 接 下 来 的 数据 是 否 是 图 像 数 据 。 经 过 
ChipScope 软件 抓 取 实验 测试 两 种 方法 结果 是 一 样 的 。 由 于 底板 资源 的 限制 ，ChipScope 软 
件 只 能 抓 取 一 部 分 数据 , 但 图 像 数 据 的 事务 传输 是 连续 传 入 的 , 所 以 只 需 验 证 抓 取 传 入 的 第 
一 个 数据 包 是 否 正确 ， 其 结果 如 图 9 所 示 。 对 比 传 入 电脑 上 的 数据 可 知 ， 该 数据 正确 。 


图 9 本 系统 对 EMCCD 相机 传 入 PC 机 的 数据 的 侦 听 结果 
Fig. 9 listening results of the data transmitted from the EMCCD camera to the PC monitored by the system 
其 次 验证 其 能 和 否 进 行 万 帧 以 上 的 实时 动态 处 理 ， 并 将 实验 结果 与 王 锦 良 的 系统 巴 比 较 。 
由 于 实验 条 件 有 限 , 我们 采用 存储 于 TU 盘 的 实测 EMCCD 相机 短 曝光 图 像 , 在 USB2.0 总 线 
传输 时 对 其 侦 听 进行 模拟 实验 。 所 用 天 文 目 标 短 曝光 系列 图 像 是 2016 年 10 月 20 日 在 云南 


天 文 台 丽 江 观 测 站 对 天 文 双 星 HDS 70 的 实测 图 像 ， 共 10000 帧 ， 这 组 图 像 的 观测 条 件 和 参 
数 参 见 毛 枢 哗 的 论文 04， 其 中 随机 单 帧 如 图 10(a) 所 示 ， 最 好 单 帧 如 图 10(b) 所 示 。 


Ca) 随机 单 帧 Cb) 最 好 单 帧 
(a) A random frame (b) The best frame 
图 10 两 帧 HDS 70 实测 图 像 
Fig. 10 Two frames of observed images of HDS 70 
从 图 10 中 可 以 很 明显 的 看 出 由 于 受到 大 气 汕 流 的 影响 ， 无 论 随 机 单 帧 还 是 最 好 单 帧 都 
无 法 找到 天 文 双星 的 准确 位 置 ， 尤 其 是 双星 中 暗 星 的 位 置 根本 无 法 辨别 。 
我 们 用 TU 盘 将 观测 到 的 10000 帧 原始 图 像 (512x512) 按 EMCCD 相机 的 采集 速度 去 模 
H EMCCD 相机 传输 ， 当 前 100 帧 有 效 的 天 文 图 像 传 输 完 成 之 后 ，VGA 显示 器 开始 显示 9 
个 阔 值 处 理 后 的 二 值 化 图 像 。 随 着 图 像 的 持续 传输 ，VGA 上 的 阔 值 图 像 动态 更 新 。 说 明 系 
统 实现 了 实时 处 理 和 动态 更 新 的 功能 。 
为 了 进行 数值 验证 ， 系 统 中 设计 了 成 像 结 果 通 过 以 太 网 回 传 功能 ， 即 当 向 FPGA 系统 
传输 到 5000 帧 和 10000 帧 时 ， 将 实时 多 阔 值 处 理 结果 回 传 给 PC 机 。 将 实时 处 理 结果 通过 
调用 MATLAB AZOTE, 如 图 11 Bras, 其 中 图 11(a) 为 天 文 图 像 传 输 5000 WIHA 
值 处 理 结果 ， 图 11(b) 为 天 文 图 像 传输 10000 帧 时 的 多 阔 值 处 理 结果 。 图 中 的 每 个 小 图 像 为 
通过 相应 阔 值 进行 二 值 化 后 的 结果 图 像 。 每 个 小 图 像 上 方 的 数字 表示 阅 值 的 序列 号 。 
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Ca) 5000 帧 处 理 结果 Cb) 10000 帧 处 理 结 果 


(a)Processing results of 5,000 Frames (b) Processing results of 10,000 Frames 
图 11VGA 屏幕 上 的 九 个 分 段 闵 值 二 值 化 图 像 
Fig. 11 Nine piecewise-threshold binary images on a VGA screen 
从 一 部 分 实验 结果 小 图 可 以 清晰 的 看 到 双星 ( 亮 的 主星 和 暗 的 伴星 ) 的 存在 ,这 种 多 立 
值 的 方法 使 暗 星 变 得 突出 ， 容 易 分 辨 5000 帧 的 实验 结果 图 中 ， 有 4 幅 小 图 中 可 以 看 见 双 
星 中 的 伴星 。10000 帧 的 实验 结果 图 ， 有 6 幅 小 图 中 可 以 看 见 双星 中 的 伴星 。 说 明 本 系统 确 
实 可 以 实现 万 帧 及 以 上 原始 格式 天 文 图 像 的 实时 动态 更 新 与 显示 , 新 系统 运行 结果 与 王 锦 民 


— 
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al 


设计 的 系统 "的 结果 是 完全 相同 的 。 


像 ， 
3 


过 程 实时 性 的 方法 一 一 通过 无 侵入 式 的 数据 侦 听 实现 幸运 成 像 , 并 提出 了 一 个 系统 的 设计 与 
实现 方案 。 文中 介绍 了 基于 USB2.0 总 线 数据 侦 听 的 实时 幸运 成 像 系统 的 总 体 设计 ， 重 点 介 


而 


另外 ， 本 系统 只 要 对 系统 中 的 传输 模块 稍 作 修改 ， 就 可 以 侦 听 不 同 CCD 相机 输入 的 
从 而 实现 不 同 相 机 系统 的 实时 幸运 成 像 。 


结论 
本 文 在 分 析 己 有 的 笠 运 成 像 系 统 优 缺 点 的 基础 上 , 提出 了 一 种 进一步 提高 幸运 成 像 处 理 


y 


绍 了 侦 听 电路 硬件 设计 和 USB2.0 数据 分 析 电 路 的 FPFA 逻辑 设计 ， 搭 建 了 一 个 具有 实时 数 
据 侦 听 、 传 输 、 处 理 、 动 态 更 新 和 显示 的 笠 运 成 像 系 统 。 文 中 也 介绍 了 主要 模块 的 设计 和 验 


证 的 过 程 ， 并 用 实测 的 天 文 图 像 对 这 一 新 的 幸运 成 像 系 统 进 行 了 验证 。 此 外 , 文中 提出 的 总 
体 设 计 的 方法 和 实现 技术 ， 也 具有 通用 性 ， 可 以 为 其 它 类 似 的 USB 总 线 数据 侦 听 应 用 系统 


的 设计 提供 参考 。 
致谢 


H 


地 


国 科学 院 云南 天 文 台 张 西 亮 、 季 凯 帆 、 金 振 宇 为 本 研究 工作 提供 了 原始 天 文 图 像 ， 特 


此 致谢 。 本 文 研究 工作 受到 中 国 国家 自然 科学 基金 委员 会 的 资助 ， 项 目 编号 11673009。 


参考 文献 : 


[1] 


[2] 


[3] 


[4] 


[5] 


[6] 


[7] 


[8] 


Law N M, Mackay C D, Baldwin J E. Lucky imaging: high angular resolution imaging in the 
visible from the ground[J]. Astronomy and astrophysics, 2006, 446(2):739-745. 

MOE, AEK, FAA SEM] db: 科学 出 版 社 ,2014. 

WEI Shaojun, LIU Leibo , YIN Shouyi, et al, Reconfigurable computation[M] .Science Press, 
Beijing, China, 2014. (in Chinese) 

HH, FWE. 低温 下 EMCCD 电子 倍增 模型 中. 电子 学 报 , 2013, 41(9):1826-1830. 

HU Bo, LI Binhua. Electron Multiplication Model of EMCCD in Low Temperature[J]. Acta 
Electronica Sinica , 2013 , 41(9) : 1826-1830.(in Chinese) 

Oscoz A, Rebolo R, Lopez R, et al. FastCam: a new lucky imaging instrument for 
medium-sized telescopes[C], Proc.of SPIE, 2008, Vol.7014:701447-1:701447-12. 

Piqueras J, Rodriguez-Ramos L, Martin Y, et al. FastCam: Real-Time Implementation of the 


Lucky Imaging Technique using FPGA[C]. Programmable Logic, 2008, Southern 
Conference on. IEEE, 2008:155-160. 

ie, PHB, BHE, K. 基于 现场 可 编程 门 阵列 的 幸运 成 像 算 法 的 实现 [加 . 天 
文 研究 与 技术 , 2019,16(02):236-243. 

ZHAO Panzi , LI Binhua , MAO Longhua , TAO Yong. Implementation of Lucky Imaging 
Algorithm Based on FPGA[J]. Astronomical Research & Technology, 2019 , 16(02) : 
236-243. (in Chinese) 

Duan C , Li B , Chen Z , et al. Lucky imaging system on FPGA by using ethernet 


transmission[C]// Optical Metrology and on for Industrial Applications VI. 2019. 

王 锦 良 , 李 彬 华 .一 种 固定 选 图 数 的 实时 柱 运 成 像 算 法 [J/OL]. 天 文 研究 与 技 
术 :1-9[2020-12-26]. https://doi.org/10.14005/j.cnki.issn1672-7673.20200701.002. 

WANG Jinling , LI Binhua . A real-time lucky imaging algorithm with fixed number of 
selected images[J/OL].Astronomical Research & Technology: 1-9[2020-12-26]. 


https://doi.org/10.14005/j.cnki.issn1672-7673.20200701.002. 

[9] Wang J, Li B, Xing K.A New Real-Time Lucky Imaging Algorithm and its Implementation 
Techniques[J]. IEEE Access,2020,Vol.8: 52192-52208. 

[10] 孙 博 . USB EIZA RAG A ERARD]. 长 春 理工 大 学 , 2013. 
SUN Bo. USB without invasive data collection technolog research[D].Changchun University 


of Science and Technology, 2013. 

[11] HE, 陈 以 军 , 武 敏 . 基于 FPGA 监 听 的 图 像 采 集 与 预 处 理 方法 中. 浙江 大 学 学 报 : 工 
学 版 , 2018, 052(002):398-405. 
ZHOU Jiali, CHEN Yijun, WU Min. Image acquisition and preprocessing method based on 


FPGA monitor[J]. Journal of Zhejiang University(Engineering Science), 2018, 
052(002):398-405. 

[12] Duan C, Li B. FPGA-based USB 2.0 data monitoring and acquisition circuit function and 
simulation design[J]. IOP Conference Series: Materials Science and Engineering, 2019, 
631(4):042062. 

[13] SMSC Company. USB3300 datasheet[EB/OL]. Revision1.08(11-07-07). 

[14] Jan Axelson. USB Complete: The Developer's Guide[M]. Lakeview Research,2015. 

[15] BAE Hee Ke OL sete. 基于 2m BORK 8 Ee BEY EIS RIE HSE oe 
WRNI 光学 技术 , 2018,44(05):542-548. 

MAO Longhua , LI Binhua , ZHANG Xiliang , JI Kaifan , JIN Zhenyu. Experimental 
investigation of lucky imaging algorithm based on 2m astronomical telescope[J]. Optical 
Technique , 2018 , 44(05) : 542-548. (in Chinese) 


Real-time lucky imaging system based on USB2. 0 bus data 
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Abstract: In order to further improve the real-time performance of the existing real-time 
lucky imaging system, and in the case of lucky imaging observation through the EMCCD camera 
with the USB2.0 interface, this paper proposes a real-time lucky imaging technology scheme 
based on USB2.0 bus data listening. The hardware design and digital logic design of the listening 
circuit have been carried out and a lucky imaging system with real-time listening, transmission, 
processing, dynamic update and display has been built. This system inserts the front end of the 
listening circuit into the USB2.0 bus connecting the camera with a PC. When the camera captures 
astronomical images and transfers the images to the PC via USB2.0 bus, the special USB2.0 bus 
data listening system realizes non-intrusive data listening on the bus. After analysis and processing, 


only valid astronomical image data are sent to a bottom FPGA development board, in which a 


FPGA lucky imaging system transplanted from an existing Ethernet-based system is embedded. 
When the development board receives the image data sent by the listening circuit, the embedded 
lucky imaging system performs image preprocessing, dynamic image selection, real-time 
registration and superimposition processing, and finally uses 9 adjustable thresholds to binarize 
high-resolution images and then output these images to a VGA displayer. This paper introduces 
the hardware, logic design method and debugging process of the listening circuit, as well as the 
transplantation of the lucky imaging system and the experimental situation of the whole system. 
The experimental results show that the implemented system can perform real-time listening, lucky 
imaging and dynamic update display for 10,000 frames of 512x512 pixel images continuously 


transmitted on the USB2.0 bus, and realize the real-time of lucky imaging technology. 


Key words: lucky imaging; data listening; USB2.0; FPGA; real-time 


